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Beschreibung 

[0001] Die Erfindung betrifft ein Verfahren zum Be- 
stimmen der Lage eines Korpers im Raum urn mit meh- 
reren mit diesem zusammenwirkenden raumlich ge- s 
trennten elektronischen Kameras mit Bildverarbeitung 
urn Manipulationen an diesem durchzufuhren. 
[0002] Derartige Verfahren zur Bestimmung der Lage 
eines Korpers in einem Raum sind insbesondere bei der 
Herstellung von Kraftfahrzeugen erforderlich, wenn es io 
bei der Serienherstellung und Serienimanipulation dar- 
um geht, Korper gleichen Typs mit Zusatzteilen wie Tu- 
ren, Kotflugeln, Radaufhangungen Oder Kofferraum- 
deckeln zu versehen. Auch ist es einsetzbar, urn erfor- 
derliche Manipulationen beim SchweiBen, Lackieren 15 
Oder Abdichten von Nahten raschestmoglich durchzu- 
tuhren. 

[0003] Jedoch nicht nur auf dem Gebiet der Fahr- 
zeugtechnik, sondern auf alien anderen Gebieten, bei 
welchen ein Bauteil aus mehreren Bauteilen zusam- 20 
mengesetzt werden soli, ist zur raschen Herstellung ei- 
nes derartigen Elements, insbesondere im Hinblickauf 
die Genauigkeit und die Schnelligkeit eine Lagebestim- 
mung unumganglich. 

[0004] Urn derartige Vermessungen durchzufuhren, 25 
fehlt es nicht an Versuchen, dies zu bewerkstelligen. So 
ist es beispielsweise bekannt geworden, Kanten einer 
Fahrzeugkarosserie mit Hilfe einer Laserabtastungfest- 
zustellen, diese Werte zu speichern und entsprechend 
diesen Werten nachfolgende Bauteile auszurichten, urn 30 
dann anschlieBend daran, beispielsweise mit Hilfe von 
Robotern, Turen anzuschweiBen oder auch das Befe- 
stigen von Kofferraumdeckeln oder Motorhauben zu be- 
werkstelligen. 

[0005] Es ist jedoch bekannt, dal3 durch Laserstahl ei- 55 
ne Gesundheitsschadigung nicht auszuschlieBen ist. 
Fur die Verbindung eines Bauteils mil einem Grundkor- 
per, beispielsweise einer Autotur mit einem Grundrah- 
men, ist es ertorderlich, Lagetoleranzen auszugleichen, 
weil sonst ein VerscheiBen nicht sicher durchgefOhrt 40 
werden kann, wenn nicht die Stellen fur die Scharniere 
der Tur am Rahmen genau erreicht werden oder wenn 
zwischen diesen Stellen und den Turscharnieren zu Be- 
ginn des SchweiBvorgangs ein zu groBer Abstand be- 
steht. Die Folge derartiger MiBeinsteilungen sind dann 45 
zwangslaufig AusschuBherstellungen, die erst muhse- 
lig entweder nachgearbeitet oder direkt verschrottet 
werden mussen. 

[0006] Als Hilfsmittel verwendet man deshalb auch 
mechanische Arretierungen, welche auf den Forder- so 
bandern die zusammenzubauenden Bauteile, d. h. den 
Grundkorper sicher fuhren, damit von dieser Seite aus 
bereits eine grobe Voreinstellung gegeben ist. Derartige 
Hilfseinrichtungen sind jedoch nicht nur einem Ver- 
schleiB und einer Verschmutzung ausgesetzt, sondern ss 
es tritt wie oben ausgefuhrt auch die Toleranz bei der 
Herstellung des Grundkorpers sehr stark in Erschei- 
nung. Dies und die zunehmende Forderung nach flexi- 



bler Fertigung bei einem Produktmix fuhren dazu, daB 
solche Einrichtungen praktisch nicht mehr einsetzbar 
sind. Unter Produktmix versteht man im vorliegenden 
Fall eine nicht sortenreine Fertigung auf einer Ferti- 
gungslinie. 

[0007] Durch das Patent mit der Nr. US-A-4 639 878 
ist eine Methode und eine Einrichtung zur automati- 
schen Festlegung der Position eines dreidimensionalen 
Korpers in einer Arbeitsstation bekannt geworden, bei 
der drei Kameras verwendet werden, wobei jede Kame- 
ra verschiedene Werte eines Kalibrierkorpers aufnimmt 
und wobei zusatzlich ein dreidimensionaler Korper zu 
den Koordinaten der aut dem Korper angeordneten Ko- 
ordinaten, welche ihren Nullpunkt in auf dem Korper vor- 
gegebenen Offnungen besitzenden Ubereinstimmung 
gebracht wird. 

[0008] Aus dem US Patent ist ein Verfahren zum Be- 
stimmen der Lage eines Korpers im Raum urn Manipu- 
lationen an diesem durchzufuhren mit mehreren mit die- 
sem zusammenwirkenden raumlich getrennten elektro- 
nischen Kameras mit Bildverarbeitung bekannt, wobei 
der Korper in den Raum zwischen den elektronischen 
Kameras verbracht wird, je ein charakteristischer Punkt 
auf dem in den Raum verbrachten Korper in je einer die- 
sem zugeordneten elektronischen Kamera abgebildet 
wird, daB dessen Lage in Bild mit seiner konstruktiven 
vorgegebenen Position des charakteristischen Punktes 
auf den in den Raum verbrachten Korper zusammen mit 
gespeicherten Werten verarbeitet wird und alle verar- 
beiteten Werte die Lage des in dem Raum verbrachten 
Korpers in den sechs raumlichen Freiheitsgraden cha- 
rakterisieren. 

[0009] Ausgehend hiervon liegt der vorliegenden Er- 
findung die Aufgabe zugrunde, ein zu manipulierendes 
Element in Bezug zum Manipulator direkt zu bringen. 
Diese Aufgabe wird erfindungsgemaB dadurch gelost, 

a) daB jede von mindestens drei raumlich getrenn- 
ten elektronischen Kameras mit Bildverarbeitung 
bei deren Einmessen eine ihr zugeordnete Kali- 
briertafel mit Punktmuster aufnimmt, deren Bilder, 
sowie das Punktmuster zur Bestimmung der Lage 
der einzelnen Kamera im Raum verarbeitet und de- 
ren Lage speichert, 

b) daB eine Vermessung der Kalibriertafeln zuein- 
ander getrennt hiervon erfolgt, daB diese Werte 
ebenfalls gespeichert werden, 

c) daB anschlieBend der Korper in den Raum zwi- 
schen den elektronischen Kameras verbracht wird, 

d) daB je ein charakteristischer Punkt auf den in den 
Raum verbrachten Korper in je einer diesem zuge- 
ordneten elektronischen Kamera abgebildet wird, 
daB dessen Lage im Bild mit seiner konstruktiven 
vorgegebenen Position des charakteristischen 
Punkts auf den in den Raum verbrachten Korper zu- 
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sammen mit den gespeicherten Werten verarbeitet 
wird und 

e) daft alle derart verarbeiteten Werte die Lage des 
in den Raum verbrachten Korpers in den sechs 
raumlichen Freiheitsgraden charakterisieren. 

[0010] Es wird als unter die Erfindung fallend ange- 
sehen, wenn die unter Kombinationen a und b gegen- 
einander ausgetauscht werden. 
[0011] Hierdurch wird erreicht, da3 unabhangig von 
der Genauigkeit der Herstellung des Grundkorpers je- 
weils an der richtigen Stelle, bezogen auf den Manipu- 
lator, Elemente an der richtigen Stelle am Grundkorper 
angebracht werden konnen, da die Ausrichtung des 
Korpers nunmehr zwangslaufig durch eine Koordina- 
tentransformation zwischen dem die raumliche Lage 
des Korpers darstellenden Koordinatensystem und dem 
Koordinatensystem des Roboters Oder Manipulators, 
der zwangslaufig zu den Fahrzeugkoordinaten ausge- 
richtet sein mu3, um ein sicheres und ausschuGfreies 
Bearbeiten des Korpers beispielsweise des Grundge- 
stells einer Karosserie zu bewirken. Auch ist es hier- 
durch moglich, Lackierungen oder Abdichtungen oder 
Ummantellungen zielgenau am zu fertigenden Bauteil 
anzubringen. 

[0012] Daruberhinaus ist auch eine mechanische Be- 
arbeitung eines so in den Raum verbrachten Korpers 
moglich, wenn zusatzlich erfindungsgemaG die Fun- 
rung eines Gegenhalters das Bauteil bzw. die Karosse 
abstutzt, so daG mittels spanabhebender Bearbeitung 
beispielsweise eine Bearbeitung durchgefuhrt werden 
kann. 

[0013] Eine Ausgestaltung des erfinderischen Ge- 
genstandes besteht darin, daft die Position eines Null- 
korpers des selben Typs bestimmt wird und daG die 
Messung aller folgenden Korper auf diesen bezogen 
werden. Damit wird erreicht, daG eventuelle Fehler bei 
der Einmessung sowie der Vermessung zufolge unge- 
nauer Herstellung der Grundkarosse beispielsweise mi- 
nimiert werden, da diese Fehler sich beim Bezug der 
weiteren Karossen auf die Nullkarosse als Fehler hohe- 
rer Ordnung wesentlich verringern. 
[0014] Im Nachfolgenden wird an einem Ausfuh- 
rungsbeispiel die erfinderische Verfahrensweise naher 
erlautert. 

[0015] Es zeigen in schematischer Darstellung: 

Figur 1 einen EinmeGvorgang fur die Position einer 
Kamera bezuglich des Raums 

Figur 2 eine Bestimmung der raumlichen Lage ei- 
nes Korpers an welchem Manipulationen 
durchgefuhrt werden 

Figur 3 EinfluG einer Positionierung eines Nullkor- 
pers 

[0016] In der Beschreibung werden in den einzelnen 
Figuren gleiche Bauteile mit denselben Bezugziffern be- 



zeichnet. 

[0017] GemaG Figur 1 wird eine Kamera 1 , bei der es 
sich um eine bekannte CCD-Kamera mit bekannter Bild- 
verarbeitung handelt, optisch mit einer Kalibriertafel 2 

s in Verbindung gebracht. Auf der Kalibriertafel 2 sind 
Markierungen 3 angeordnet, deren gegenseitiger Ab- 
stand bekannt ist. Die Kamera 1 wird an den Rand des 
Raumes verbracht, beispielsweise bei einer Lackierka- 
bine zum Lackieren von Fahrzeugkarossen hinter einer 

10 Wand der Lackierkabine, um die Kamera vor Beschadi- 
gung und Verschmutzen zu schutzen, dergestalt, daG 
lediglich eine kleine Offnung in der Wand verbleibt, 
durch welche die Kamera 1 eine optische Verbindung 
mit der ihr zugeordneten Kalibriertafel 2 aufnehmen 

15 kann. 

[0018] Voraussetzung fur eine richtige Einmessung 
ist ledigiich, daG die Kamera 1 nicht senkrecht zur Kali- 
briertafel 2 steht. 

[0019] Die nunmehr Qber die Kamera aufgenomme- 
20 nen Informationen dienen dazu, die raumliche Lage, 
bzw. das Koordinatensystem der Kamera 1, festzule- 
gen. In den anderen Wanden 4 der Lackierkabine sind 
mindestens noch zwei weitere Kameras 1 in der selben 
Weise angeordnet und arbeiten ebenfalls mit weiteren 
25 Kalibriertafeln zusammen. Der Vorgang des Einmes- 
sens wurde der Einfachheit halber nur mit einer Kamera 
erlautert. Es ist jedoch verstandlich, daG jede der beiden 
anderen Kameras in der selben Weise eingemessen 
werden kann. 

30 [0020] Nach E inmessen der Kameras in der oben be- 
schriebenen Weise wird in einem getrennten Vorgang 
wie ebenfalls auf Figur 1 dargestellt, nunmehr die Lage 
der Kalibriertafeln 2 bestimmt. Im Ausfuhrungsbeispiel 
handelt es sich um drei Kalibriertafeln, die durch ein an- 

35 deres MeGmittel, beispielsweise Theodoliten 5, vermes- 
sen und deren Ergebnis gespeichtert wird. Das in der 
Figur 1 dargestellte Koordinatensystem 1 7 stellt das Be- 
zugskoordinatensystem fur die gesamte Messung dar. 
[0021] Aufgrund dieser EinmeGwerte, bestehend aus 

40 den in der Kamera mittels Bildverarbeitung gemesse- 
nen und gespeicherten Werten und den durch die theo- 
dolitische Vermessung der drei Kalibriertafeln erhalte- 
nen Werte, ist die Position der Kamera bestimmt. 
[0022] Wird nun, wie in Figur 2 dargestellt, ein Korper 

45 6 in den Raum verbracht, beispielsweise uber am Bo- 
den 7 verlegte Schienen 8, so kann, nachdem die Ka- 
meras 1 auf den Raum eingemessen wurden, nun ein 
beliebieger Punkt bzw. beliebige Punkte am Korper 6, 
bei dem es sich im Ausfuhrungsbeispiel um eine Karos- 

50 serie handelt, ausgewahlt werden, an welchen Manipu- 
lationen am Korper 6 durchgefuhrt werden mussen, bei- 
spielsweise das Einsetzen von Turen oder das Anbrin- 
gen von Deckeln oder das Einstellen von Spritzpistolen 
bei einer Lackieranlage zu der jeweiligen Oberflache 

55 des Korpers mit Hilfe von Robotern 9. Mittels der Kame- 
ras wird die Postition je eines Merkmals, dessen Posi- 
tion in dem dem Objekt zugeordneten Koordinatensy- 
stem 18 gespeichert ist, im aufgenommenen Kamera- 
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bild mittels Bildverarbeitung erkannt und mit dem bei der 
Einmessunggespeicherten Wertenverarbeitet. Hieraus 
ist der Bezug des Koordinatensystems 18 zum Koordi- 
natensystem 17 bestimmt. Sotragen im Ausfuhrungs- 
beispiel die beiden Roboter 9 Farbdusen 1 0 und 1 1 , wel- 
che eine fehlerfreie Lackierung des Fahrzeugs ermog- 
lichen. Anstelle dieser Farbdusen 10/11 konnen auch 
andere Hilfswerkzeugetreten, beispielsweise Versiege- 
lungseinrichtungen, welche SchweiBnahte versiegeln 
oder auch Schraubeinrichtungen, welche Blechteile mit 
Oder ohne entsprechende Gegenhalterungen an den 
Karossen anbringen. 

[0023] Hierzu ist, wie bereits in der Einleitung gesagt, 
erfindungsgemaB gleichartig eingestellt ein Gegenhal- 
ter verwendbar, urn beispielsweise die Bohrkrafte, wel- 
che beim Bohrvorgang auftreten, aufnehmen zu kon- 
nen, ohne daf3 die Karosserie wahrendder Manipulation 
in eine andere Lage verschoben wird. 
[0024] In Figur 3 ist ein Ausfuhrungsbeispiel darge- 
stellt, mit welchem der EinfluB einer Positionierung ei- 
nes Nullkorpers auf die hierdurch zu steigernde Bear- 
beitungsgenauigkeit erlautert wird. Ein Nullkorper 12 
wird, wie zu Figur 1 und Figur 2 insbesondere beschrie- 
ben, vermessen. Hierbei handelt es sich bei dem Null- 
korper urn einen Korper des selben Typs der nachfol- 
gend zu bearbeitenden Korper. Durch diese Vorgehens- 
weise lassen sich Fehler, die beispielsweise durch Un- 
genauigkeiten in der Herstellung oder des Einmessens, 
oder MeBfehler, die bei der Vermessung des Nullkor- 
pers aufgetreten sind, minimieren. Es bleiben nur noch 
Fehler hohererOrdnung ubrig. Bei nachfolgenden Mes- 
sungen wird aus einem bei der Nullmessung bestimm- 
ten Lagewert zufolge Verschiebung des nachsten zu 
manipulierenden Korpers 1 3 ein Verschiebevektor fest- 
gestellt, welcher dann bei der Einstellung des in Figur 9 
dargestellten Roboters durch Vergleich zwischen Istpo- 
sition des nachsten zu manipulierenden Korpers 13 mit 
der Sollposition bzw. Nullposition des Nullkorpers 12 
verglichen wird und hiermit berucksichtigbar bleibt. 

Patentanspruche 

1 . Vertahren zum Bestimmen der Lage eines Korpers 
(6) im Raum urn Manipulationen an diesem durch- 
zufuhren mit mehreren mit diesem zusammenwir- 
kenden raumlich getrennten elektronischen, Kame- 
ras (1) mit Bildverarbeitung wobei, 

a) jede von mindestens drei raumlich getrenn- 
ten elektronischen Kameras (1) mit Bildverar- 
beitung bei deren Einmessen eine ihr zugeord- 
nete Kalibriertafel (2) mit Punktmuster auf- 
nimmt, deren Bildersowie das Punktmuster zur 
Bestimmung der Lage der einzelnen Kamera 
(1) im Raum verarbeitet und deren Lage spei- 
chert, 



b) eine Vermessung (5) der Kalibriertafeln (2) 
zueinander getrennt hiervon erfolgt, daft diese 
Werte ebenfalls gespeichert werden, 

5 c) anschlieBend der Korper (6) in den Raum 

zwischen den elektronischen Kameras (1 ) ver- 
bracht wird, 

d) je ein charakteristischer Punkt auf dem in 
10 den Raum verbrachten Korper (6) in je einer 

diesem zugeordneten elektronischen Kamera 
(1 ) abgebildet wird, daB dessen Lage in Bild mit 
seiner konstruktiven vorgegebenen Position 
des charakteristischen Punktes auf den in den 
15 Raum verbrachten Korper (6) zusammen mit 

den gespeicherten Werten verarbeitet wird und 

e) alle derart verarbeiteten Werte die Lage des 
in dem Raum verbrachten Korpers (6) in den 

20 sechs raumlichen Freiheitsgraden charakteri- 

sieren. 

2. Vertahren nach Anspruch 1 dadurch gekennzeich- 
net, daB die Position eines Nullkorpers desselben 
25 Typs bestimmt wird und daB die Messung aller fol- 
genden Korper (6) auf diesen bezogen wird. 

Claims 

30 

1 . Procedure to determine the position of a body (6) in 
space in order to carry out manipulations thereof, 
with several spatially separated electronic cameras 
(1), interacting with body, with image processing, 
35 whereby 

a) each of at least three spatially separated 
electronic cameras (1) with image processing, 
where for calibration an associated calibration 
4 o table (2) with dot patterns is taken, the image 

of which as well as the dot pattern are proc- 
essed to determine the position of the indiviual 
cameras (1) and their positions are stored. 

46 b) measurement (5) of the calibration tables 2) 

against each other is done independent there- 
of, so that these values are also stored. 

c) subsequently the body (6) is positioned in the 
50 space between the electronic cameras (1 ) 

d) a characteristic point each on the body (6) 
positioned in the space, is imaged in one elec- 
tronic camera (1) associated with it, so that the 

55 position thereof in the image with its construc- 

tively predetermined position of the character- 
istic point on the body (6) positioned in the 
space, is processed together with the stored 
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values, and 

e) all thus processed values characterize the 
position of the body (6) positioned in space, in 
the six spatial degrees of freedom. 5 

2. Procedure according to claim 1, characterized 
such, that the position of a nullbody of same type is 
determined and that measurement off all subse- 
quent bodys (6) takes reference to this. 10 



Revendications 

1. Precede" pour determiner le positionnement d'un is 
corps (6) dans I'espace afin d'effectuer des mani- 
pulation sur cclui-ci au moyen de plusieurs cameras 
eiectroniques (1) s6par6es dans I'espace et agis- 
sant sur ce corps au moyen de traitement d'images. 
Ce precede se caracterise comme suit: 20 

a) Lors de retalonnage, chacune des au mini- 
mum trois cam6ras eiectroniques (1) a trait- 
ment d'images s£par£es dans I'espace prend 

sur plan un tableau d'etalonnage (2) a r<§scau 25 
de points lui etant attribue et prenant les mesu- 
res des images et du reseau de points permet- 
tant la determination et I'enregistement du po- 
sitionnement de chaque camera dans I'espace. 

30 

b) Idependamment, un mesurage (5) des ta- 
bleaux d'etalonnage (2) entre eux sera effectue 
at ces donnees egalement enregistr6es 

c) Le corps (6) sera ensuite place dans I'espace 35 
se trouvant entre les cameras eiectroniques. 

d) Par chacune des cameras eiectroniques (1 ), 
un point pr6cis sur le corps (6) place dans I'es- 
pace, attribue a Tune de ces cameras, sera 40 
photographie, Son positionnement dans I'ima- 

ge avec sa position contructive pr6d6finie du 
point caracteristique par rapport au corps (6) 
place dans I'espace sera traite en combinaison 
avec les donnees enregistrees. 45 

e) Toutes les valeurs trait6es de cette maniere 
caracterisent le positionnement du corps (6) 
place dans I'espace dans les six degres de li- 
berte spaciaux. so 

2. Conformement a la specification 1, ce peocede se 
caracterise par la determintion de la position d'und 
corps zero du m6me type et par le fait que la mesure 
de tous les corps suivants (6) se refere a ce dernier. 55 
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Abstract of EP0763406 

The method involves using several spatially 
separated electronic cameras with image 
processing function which is calibrated by 
imaging a calibration board with a point pattern 
associated with each camera, and using the 
resulting images to determine the position of 
each camera w.r.t. the calibration board. The 
position of each camera is stored, the calibration 
board is independently measured and the 
resulting measurements are also stored. An 
object is entered into the space between the 
cameras and a determined point on the object is 
imaged on each camera. The relative position of 
that point in the image is processed together with 
the constructive, predetermined position of the 
characteristic point on the object and the stored 
data. All processed values describe the position 
of the object in the six spatial degrees of 
freedom. 
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